TerraformでSnowflakeのリソースを作成してみた
大阪オフィスの玉井です。
Infrastructure as Code（IaC）を実現するためのツールとしておなじみのTerraformですが、実はSnowflakeにも対応しています。というわけで、実際にやってみました。
概要など
厳密にいうと、Chan Zuckerberg InitiativeがSnowflake用のproviderを開発しており、それを利用して、TerraformでSnowflakeを管理することができます。
下記のウェビナーで詳しい説明があるのでどうぞ。
ちなみに、「DevOps: Terraforming Snowflake」という名前の、Snowflake公式のチュートリアルがあります（私もやりました）。
やってみた
環境
- macOS Big Sur 11.4
- Terraform v1.0.0
やってみる内容
「開発者に、個人用のSnowflakeリソース一式を用意してあげる」っていうのを想定して、下記をTerraformで一気に作ってみたいと思います。
- ユーザー
- ロール
- DB
- スキーマ
- 仮想ウェアハウス
ちなみに、テーブルは今回つくりません（理由は後述）。
Snowflakeとの認証
Terraformが（ユーザーに代わって）Snowflakeのリソースを作成するので、まずはTerraform用のユーザーを作成します。割当ロールについて、今回はとりあえずSYSADMINとSECURITYADMINを使えるようにしていますが、本番運用する際は、より適切なカスタムロールを作って、それを割り当てる方が良いです。
CREATE USER "tf-snow" DEFAULT_ROLE=PUBLIC MUST_CHANGE_PASSWORD=FALSE; GRANT ROLE SYSADMIN TO USER "tf-snow"; GRANT ROLE SECURITYADMIN TO USER "tf-snow";
続いて、Terraformが使用するSnowflakeに対する認証情報の準備です。公式ドキュメントを見るに、tfファイルにベタ書きすることもできそうですが、今回は、冒頭で紹介したチュートリアルにならって、環境変数に認証に必要な情報を入れて、それをProvider側で使用する方法をとります。
環境変数にぶちこんでいきます。
> export SNOWFLAKE_USER="tf-snow" > export SNOWFLAKE_ACCOUNT="Snowflakeのアカウント名（URLの最初）" > export SNOWFLAKE_REGION="Snowflakeのリージョン名（URLの真ん中）"
コード本体
今回のコードは以下の通り。今回はとりあえず全部main.tfに書いています。
terraform {
required_providers {
snowflake = {
source = "chanzuckerberg/snowflake"
version = "0.22.0"
}
}
}
provider "snowflake" {
role = "SYSADMIN"
}
resource "snowflake_database" "db" {
name = "TIGER_DB"
}
resource "snowflake_schema" "schema" {
database = snowflake_database.db.name
name = "TIGER_SCHEMA"
is_managed = false
data_retention_days = 90
}
resource "snowflake_warehouse" "warehouse" {
name = "TIGER_WAREHOUSE"
initially_suspended = true
warehouse_size = "xsmall"
max_cluster_count = 1
min_cluster_count = 1
auto_suspend = 60
}
provider "snowflake" {
alias = "security_admin"
role = "SECURITYADMIN"
}
resource "snowflake_role" "role" {
provider = snowflake.security_admin
name = "TIGER_ROLE"
}
resource "snowflake_database_grant" "grant" {
database_name = snowflake_database.db.name
privilege = "USAGE"
roles = [snowflake_role.role.name]
with_grant_option = false
}
resource "snowflake_schema_grant" "grant" {
database_name = snowflake_database.db.name
schema_name = snowflake_schema.schema.name
privilege = "USAGE"
roles = [snowflake_role.role.name]
with_grant_option = false
}
resource "snowflake_warehouse_grant" "grant" {
warehouse_name = snowflake_warehouse.warehouse.name
privilege = "USAGE"
roles = [snowflake_role.role.name]
with_grant_option = false
}
resource "snowflake_user" "user" {
provider = snowflake.security_admin
name = "SATORU_SAYAMA"
default_warehouse = snowflake_warehouse.warehouse.name
default_role = snowflake_role.role.name
default_namespace = "${snowflake_database.db.name}.${snowflake_schema.schema.name}"
}
resource "snowflake_role_grants" "grants" {
role_name = snowflake_role.role.name
users = [snowflake_user.user.name]
}
コードの中身自体は読めばそのままわかるものばかりだと思います。仮想ウェアハウスの自動サスペンド時間など、細かい設定が可能です。リソースによっては、ロールを使い分ける必要があるので、Multiple Providersで対応しているところがポイントでしょうか。
実行する
実行はTerraform側の話なので、普通にやります（Snowflakeだからといって特殊なことはない）。
> terraform init Initializing the backend... Initializing provider plugins... - Reusing previous version of chanzuckerberg/snowflake from the dependency lock file - Using previously-installed chanzuckerberg/snowflake v0.22.0 Terraform has been successfully initialized! ...（略）
> terraform apply
Terraform used the selected providers to generate the following execution plan. Resource actions are indicated with the following symbols:
+ create
Terraform will perform the following actions:
# snowflake_database.db will be created
+ resource "snowflake_database" "db" {
+ data_retention_time_in_days = (known after apply)
+ id = (known after apply)
+ name = "TIGER_DB"
}
# snowflake_database_grant.grant will be created
+ resource "snowflake_database_grant" "grant" {
+ database_name = "TIGER_DB"
+ id = (known after apply)
+ privilege = "USAGE"
+ roles = [
+ "TIGER_ROLE",
]
+ with_grant_option = false
}
...（中略）...
Plan: 9 to add, 0 to change, 0 to destroy.
Do you want to perform these actions?
Terraform will perform the actions described above.
Only 'yes' will be accepted to approve.
Enter a value: yes
snowflake_role.role: Creating...
snowflake_database.db: Creating...
snowflake_warehouse.warehouse: Creating...
snowflake_role.role: Creation complete after 1s [id=TIGER_ROLE]
snowflake_warehouse.warehouse: Creation complete after 1s [id=TIGER_WAREHOUSE]
...（中略）...
Apply complete! Resources: 9 added, 0 changed, 0 destroyed.
確認する
Snowflake側を確認します。いや〜見事に作成できていますね。
補足など
テーブル
このProviderには、テーブルを作成するResourceもちゃんとあります（カラムも指定できる）。しかし、テーブルとなってくると、データそのものをどうするか？ということを考える必要が出てきます。それはすなわち「どういうデータ分析をするのか？」ということにつながってくるのですが、Terraformの段階で、そこも一緒に考えるのは、あまり得策ではないと考えたので、テーブル作成は省きました。テーブルやビューの作成や変換は別手段（dbtなど）でやったほうがいいと思います。
他にもやれそうなこと
その他のリソース
このProviderは、他にもStage、File Format、Pipe、Streamなどの、Snowflake独自のリソースにも対応しています。これらもTerraformで管理することで、より複雑なSnowflake環境を簡単に用意することができそうです。
変数を使う
今回のように「その人のための環境を用意する」という目的の場合、作成するリソース名に変数を使用し、実行時に名前を入れることで、汎用的に使用できるようにできそうです。
おわりに
Snowflakeも、運用規模が大きくなると、手動でリソースを作成するのが辛くなってきますし、ヒューマンエラーのリスクもあります。リソース設定のクエリを準備するのもアリですが、Terraformの方が、（クエリよりも）コードの可読性が高かったり、CI/CDに組み込めたりするので、気になった方は是非やってみてください。
